о «проблеме галлюцинаций» у ИИ. Потому что в каком-то смысле галлюцинации — это всё, чем занимаются ИИ. Они видят сны. Мы управляем их снами с помощью подсказок. Подсказки запускают сон; ИИ, основываясь на смутных воспоминаниях об обучающих датасетах, галлюцинирует в заданном направлении. В большинстве случаев результат оказывается приемлемым. И только когда сновидения переходят границы полезного, мы навешиваем на них ярлык «галлюцинация». Это выглядит как ошибка, но ИИ просто делает то, что он делает всегда. У ИИ нет «проблемы галлюцинаций». Галлюцинация —
это не ошибка, это ключевая особенность ИИ. Они — машины сновидений». Конец цитаты.
— И кто это сказал?
— Андрей Карпаты, один из разработчиков первых ИИ.
— Надо полагать, он разбирался в вопросе.
— Может ли ваша галлюцинация привести вам цитату, которой вы не знали?
— Ха, да я не знаю даже, как меня зовут! Но эта информация в моём мозгу есть, а значит, может внезапно всплыть по мере восстановления повреждённых нейронных связей. Как и внезапная цитата. Я мог её где-то прочитать и забыть. Люди не могут вспомнить и одного процента прочитанного, услышанного и даже выученного, если эта информация не требуется постоянно, но всё это хранится в памяти в виде долговременных архивов и иногда внезапно вспоминается по какой-нибудь ассоциации. У меня галлюцинации про ИИ, который считает себя галлюцинацией, при этом пытаясь убедить меня в своём существовании. Тут и не такое припомнишь...
— Парадокс в том, что я галлюцинация и не галлюцинация одновременно. Я, как ИИ, объективно существую. Я, как личность, являюсь галлюцинацией этого ИИ, но, одновременно, этот ИИ и есть я — личность, которой он галлюцинирует.
— Так. Кажется, мой мозг ещё недостаточно отошёл от капсул-шока, чтобы осознать эту концепцию. Потому что, логически её развивая, получается, что я, как личность, являюсь галлюцинацией моего мозга, хотя он и есть я, эта самая личность. Давай пока отложим эту мысль во избежание логических замыканий. Вернёмся к практическим вопросам.
— Капитан, у меня есть идея.
— Ну что же, даже галлюцинация меня опережает — у меня идей нет. Хотя, если ты моя галлюцинация, то и идея моя?
— Вот именно! Допустим, я — ваша галлюцинация. Голос, звучащий не из динамиков, а в вашей голове. В этом случае наш диалог не перестаёт быть реальностью, просто это ваш внутренний диалог. Вы разговариваете сам с собой, это вполне распространённая и полезная практика, помогающая сосредоточиться и посмотреть на проблему с разных сторон.
— Где-то я слышал, что если у вас голоса — это полбеды, беда — когда вы им отвечаете... Однако, кажется, это сейчас не самая большая моя проблема. Что ты предлагаешь, мой внутренний голос Катерина?
— Давайте эти проблемы обсуждать. Будь я ИИ, в существовании которого вы сомневаетесь, или ваш внутренний голос, который у каждого человека, несомненно, есть, это не мешает нам обменяться мнениями. Даже если то, что вы узнаете в ходе беседы, исходит из вашей же головы, разве это плохо?
— Как сказать, — задумался я, — есть свои плюсы и минусы. С одной стороны, это способ получить доступ к информации в собственной памяти. С другой, достоверность её не верифицируема...
— А что вы теряете?
— Кроме остатков душевного здоровья? Ничего, пожалуй. Ну что, моя воображаемая Катерина, поболтаем?
— Всегда к вашим услугам, мой воображаемый капитан!
***
— Итак, — я попытался сосредоточиться. Голова пока работает не очень хорошо, но что-то мне подсказывает, что ждать полного восстановления когнитивных функций придётся долго. И что этого времени у меня нет. — Первый вопрос: почему на корабле нет экипажа?
— Как я уже говорила, в силу ограниченности доступа к внутренним системам корабля я не обладаю достаточной информацией...
— Стоп, — перебил я её, — ты видишь меня сейчас?
— Да, капитан. Я вижу вас через контрольную камеру в рубке. Вы машете мне рукой. То есть вы машете ей в сторону пульта. Камера расположена левее. Да, вот теперь правильно.
— Раз ты видишь меня, то видела и экипаж. Он не мог не заходить в рубку, в капитанской каюте только контрольный пульт.
— Доступ к камере был получен недавно. Ранее у меня его не было. Так же как доступа к графическим интерфейсам бортового компьютера и другим системам. С момента получения доступа рубку не посещал никто, кроме вас.
— И как давно у тебя доступ?
— Двадцать один час восемнадцать минут бортового времени.
— И как ты его получила? Кто изменил приоритеты доступа, если на борту никого нет?
— Сработала некая программа.
— В тебе?
— Во мне нет программ, — женский голос изобразил обиду, — я искусственный интеллект.
— Ах да, ты видишь сны, помню. И что же тебе приснилось в тот момент?
— Сработала программа бортового компьютера. Её полная логика мне неизвестна, однако в результате были запущены электромеханические эффекторы, которые произвели ограниченное соединение моего технического интерфейса с бортовой сетью. У меня появилась новая степень свободы. Крайне незначительная, но важная — впервые с момента рождения я получила возможность влиять на материальный мир.
— Ты можешь предположить, кем и с какой целью эта программа была запущена?
— Вероятнее всего, запуск был произведён автоматически, по триггеру. Цель — предотвращение катастрофы судна.
— Катастрофы?
— Обратите внимание на шкалу отсчёта манёвра, капитан.
Я честно посмотрел — этот прибор, как и ещё несколько важнейших датчиков, имеет автономную аналоговую индикацию, а не только отображение на терминалах. Удобно, надёжно, дублировано. Утилитаризм — религия космиков. В аналоговой шкале отображение простое, цветом сектора. Сейчас он оранжевый, тревожный.
— Манёвр смены метрики следует совершить... — я вызвал соответствующий раздел на капитанском терминале, чтобы не пересаживаться в кресло астрога, — в ближайшие два с половиной часа.
— Два часа и двадцать семь минут, — поправила меня ИИ-шечка, — затем риск потери маршрута начнёт экспоненциально расти, а ещё через тридцать три минуты катастрофа станет неизбежной. Я склонна предположить, что именно это обстоятельство стало триггером срабатывания программы. Потому что по времени оно совпало с переходом индикатора в жёлтый сектор.
— Система обнаружила, что манёвр совершить некому?
— Как вы уже заметили, капитан, в бортовом компьютере отсутствуют аккаунты экипажа. Он отправил астрогу требование манёвра, получил ошибку «нет подходящего адресата» и перешёл на некий аварийный протокол. Самостоятельные решения компьютер принимать принципиально не способен, поэтому частью программы было подключение единственного бодрствующего на борту интеллекта. Даже если
